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@ Neuronales Netz zur lernenden Vektorquantisierung und Klassifizierungsverfahren mit einem neuronalen Netz 
zur lernenden Vektorquantisierung 

(§) Die Erfindung betrifft ein neuronales Netz zur lernen- 
den Vektorquantisierung, mit Eingabeeinrichtungen fur 
Eingabedatensatze und wenigstens einer Schicht aktiver 
Neuronen, die mit den Eingabeeinrichtungen verbunden 
und denen Referenzdatensatze zugeordnet sind, urn zur 
Klassifizierung eines Eingabedatensatzes durch Vergleich 
mit alien Referenzdatensatzen dasjenige Neuron der 
Schicht aktiver Neuronen, dessen Referenzdatensatz dem 
Eingabedatensatz am ahnlichsten ist, zu einer Auspabe an 
Ausgabeeinrichtungen zu veranlassen. Bei der Ahniich- 
keitsbestimmung zwischen einem Eingabedatensatz und 
den Referenzdatensatzen ist bei zumindest einer seiner 
Komponenten eine vorbekannte Eigenschaft der Klassifi- 
' zierung, wie z. B. Monotonie in wenigstens einer Richtung 
; Oder Symmetrie, zugrunde gelegt. Weiterhin betrifft die 
Erfindung ein Klassifizierungsverfahren mit einem sol- 
chen neuronalen Netz. 
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Beschreibung 

Die Erfindung betrifft ein neuronales Netz zur lemenden Vektorquantisierung nach dem Oberbegriff des Anspruchs 1 
sowie ein Klassifizierungsverfahren mit einem neutonalen Netz zur lemenden Vektorquantisierung nach dem Oberbe- 
5 griff des Anspruchs 20. 

Bci ncuronalcn Nctzcn (NN) die haufig auch als kunstlichc ncuronalc Nctze (KNN) odor "artificial neural networks" 
(ANN) bezeichnet werden, handelt es sich um informationsverarbeitende Systeme, die aus einer groBen Anzahl einfa- 
Cher Einheiten (Zellen, Neuronen) bestehen, die sich Information in Form der Aktivimtng d&c Einheiten Uber gerichtete 
Verbindungen ("connecdons" "links") zusenden. 

10 Den neuronalen Netzen liegt ihre grebe Analogic zu Saugetiergehimen zu Grunde, bei denen Informationsverarbei- 
tung durch sehr viele Nervenzellen stattfindet, die im Verhaltnis zum Gesamtsystem sehr einfach sind und die den Grad 
ihrer Erregung uber Nervenfasem an andere Nervenzellen weiterleiten. Im Unterschied zur Biologie und Neurologic 
wird bei technischen neuronalen Netzen ein Modell zu Grunde gelegt, das eine sehr grobe \^rallgemeinerung darstelit. 
Die sich damit eigebenden Netze sind auch keine Neuronen-Netze, sondem nur "neuronale", d. h. neuronenShnliche 

15 Netze. 

Neben aktuellen Bemuhungen, solche neuronale Netze auch biologisch, biochemisch und chemisch zu simulieren, 
gibt es seit langem Ansatze von technischen Simulationen. Dabei lassen sich im Unterschied zur traditionellen Untertei- 
lung von Rechnersystemen in die Maschine (Hardware) und in die Algorithmen, die darauf ausgefuhrt werden (Soft- 
ware), bei den neuronalen Netzen die beiden Aspekte nicht streng voneinander trennen. Ahnlich wie bei den systolischen 

20 Feldem biologischer Neuronen sind Hardwarearchitektur und Funktionsalgorilhmus als Ganzes zu sehen. Die Hardwa- 
rearchitektur implemendert dabei den Algorithmus, und die Programmierung als Anpassung des allgemeinen Algorithm 
mus an eine spezicUe Aufgabe erfolgt dynamisch durch die Eingabe von Trainingsmustem. 

Das Grundmodell eines Neurons stutzt sich im wesentlichen auf die Vereinfachungen von McCulloch und Pitts (in 
W. S. McCulloch, W. H. Pitts: "A Logical Calculus of the Ideas Imminent in Nervous Activity"; Bulletin of Mathemati- 

25 cal Biophysics (1943), Vol. 5, S. 115 bis 133). Hier wurde ein Neuron als eine Art Addierer mit Schwellenwert betrach- 
tet. Die Verbindungen (Synapsen) eines Neurons nehmen Aktivierungen Xi mit bestimmtra Starken Wi von anderen Neu- 
ronen auf, summieren diese und lassen dann am Ausgang y (Axon) des Neurons eine Aktivitat entstehen, sofem die 
Summe vorher einen Schwellenwert S iiberschritten hat. 

Fur weitere Einzelheiten zu neuronalen Netzen, wie sie bci der vorliegenden Erfindung zu vmtehen und einzusetzen 

30 sind, und ihre detaillierten Hintergriinde und Realisierungsmoglichkeiten wird auf die Bucher "Simulation Neuronaler 
Netze" von Andreas Zell, Addison- Wesley Publishing Company (Addison- Wesley (Deutschland) GmbH) 1994, 1. un- 
veranderter Nachdruck 1996, und "Neuronale Netze" von Rudiger Brause, B. G. Teubner, Stuttgart 1995, 2. uberarbeitete 
und erweiterte Auflage, sowie dort angegebene weitere Literatur verwiesen, die zur Vermeidung umfangreicher Darstel- 
lungen im einzelnen allesamt durch diese Bezugnahme vollinhaltlich in die vorliegenden Unterlagen aufgenommen sind. 

35 Kin wesentiiches Hlement der kiinstlichen neuronalen Netze ist ihre bereits erwahnte T^emfahigkeit, d. h. die Hahigkeit, 
eine Aufgabe, wie beispielsweise ein Klassifizierungsproblem, selbstandig aus rOrainingsbeispielen zu lem«i, ohne dafi 
das neuronale Netz dazu explizit programmiert werden muB. Fur Klassifizierungsprobleme besonders geeignete \fersio- 
nen neuronaler Netze sind solche, die zur lemenden Vektorquantisierung ("learning vector quantization"; LVQ) ausge- 
legt sind. LVQ geht zunick auf T. Kohonen, der hierzu zahlreiche Publikalionen verfaBte (siehe IJteraturlisten in den bei- 

40 den oben genannten Buchem und T. Kohonen, "Self-Organizing Maps", 2. Auflage, Springer- Verlac, Berlin Heidelberg 
New Yoric 1997). 

Insbesondere gehort der vollstandige Inhalt der drei vorstehend genannten Bucher und der darin angegebenen und zi- 
tierten weiteren Literatur zum Offenbarungsgehalt der vorliegenden unterlagen. Die vorliegende Erfindung betrifil daher 
die gesamten Ausfuhrungsmoglichkeiten, die der Fachmann den angegebenen Publikationen entnehmen kann. 

45 Bei neuronalen LVQ-Netzen (siehe hier insbesondere "Simulation Neuronaler Netze" von Andreas Zell, S. 171 bis 
178, a.a.O.) und "Neuronale Netze" von Rudiger Brause (S. 140 bis 147, a.a.O.) handelt es sich um sogenannte ein- 
schichtige "feedforward"-Netze, also solche, bei denen die einzelnen formalen Neuronen oder ganze (^ruppen von Neu- 
ronen (Schicht) Oder allgemein das Netz ohne Ruckkopplung ("feedforward") Infonuationen verarbeiLen/-l. Die Bezeich- 
nung "ohne Ruckkopplung" ist bci "fccdforward"-Nctzcn allctdings normalcrwcisc, was vorlicgcnd zu Grunde gclcgt 

50 wird, nur auf die HauptiluBrichtung der Signale bezogen. Beispielsweise werden weder die Auswirkungen neuronaler 
Ausgangssignale oder die von Fehlersignalen nachfolgender Schichten auf das Lemen von Gewichten, noch die Wech- 
selwirkungen der Einheiten innerhalb einer Schicht bei der LVQ als RUckkopplung angesehen. 

Solche cinschichtigcn ncuronalcn Nctze habcn somit cine auch als vcrdccktc Schicht ("hidden layer") zu bczcichnwidc 
Schicht aktiver Neuronen (eventuell mit vorgeschalteten Eingabeneuronen ohne Informationsverarbeitung), die oft auch 

55 als Kohonen-Neuronen bezeichnet werden. Ihre Gewichte werden durch ein einfaches Lemverfahren bestimmt, welches 
bei LVQ nur die Eingabe und eine Klasseninformation benutzt. LVQ ist i. d, R. ein uberwachtes Lemver£ahien, bei dem 
zu jedem Eingabedatensatz (Eingabevektor) bekannt sein muB, zu welcher Klasse (Kategorie) er gehort. 
Bei der Klassifikadon oder allgemein Musteikennung realisiert ein neuronales Netz eine Funktion 

60 y = <p(X) (1) 

Dabei ist die Eingabe oder der Input 

X = (Xi, X2, . . Xn) (2) 

65 

ein sogenannter Muster- oder Eingabevektor oder allgemein ein Muster- oder Eingabedatensatz, und die Ausgabe oder 
der Output y ist aus der Menge dra- Klassen Ci, C2, . . C^: 
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yeC = (Ci,C2 Ck) (3) 

Bei der lernenden Vektorquantisierung gibl es eine (ungeordnete) Menge von sogenannten Codebuchvekioren W 
("Codebook-Vektoren"; Vektoren mil freien Parametem; Referenzvektoren oder allgemein Referenzdatensatze), die fur 
die angesuebie Klassifikalion oder Quanlisierung jeweils wie ein Klassenprololyp eine ganze Klasse repnisenUeren und 5 
so im Eingabcraum dcr Eingabcdatcnsatzc x vcrtcilt wcrdcn soUcn, daB sic ihn und die durch die Funktion <p dcfinicnc 
Klasseneinteilung mdglichst gut abdecken. t)blicherweise gibt es mehrere Codebuchvektoren W fur jede Klasse von 
Eingabe vektoren . 

Das Neuronale Netz "lernt" die Funktion q) in der TVainingsphase, indeni ihm eine Serie von typischen Beispieleo prS- 
sendert wird. In der anschlieBenden SimulaUonsphase kann das neuronale Netz dann zur Klassifikation venvendet wer- 10 
den. 

Ein neuer oder bereits trainierter Eingabevektor wird parallel mit alien Referenzvektoren veiglichen, und derjenige 
Vektor, der ihm am ^nlichsten isl, gibt seine Klasse an. Beispielsweise kann ein Codebuchvektor der Gewichtsvektor Wj 
= (wij, . . ., Wnj) eines Kohonen-Neurons j sein, das von den n Eingabeneuronen seine Eingabe erhSlL Existieien keine 
Eingabeneuronen, so wird die Eingabe von auBen uber allgemeine Eingabeeinrichtungen dazu venvendet. 15 

In der Fig. 1 ist allgemein die Netzsiruktur der lernenden Vektorquantisierung (LVQ) dargestellt, wie sie einer Aus- 
fuhrung der vorliegenden Erfindung zu Grunde liegt. Jedes Neuron der Eingabeschicht ist voUstandig mit jedem Neuron 
der LVQ-Schicht verbunden. Der Codebuchvektor von Neuron j ist mit Wj bezeichnet. In zahlreichen Anwendungsfallen 
gibt es mehrere Codebuchvektoren (Referenzvektoren) W fur jede Klasse von Eingabevektoren, wie in der Fig. 1 ange- 
deutet ist. Ein Eingabevektor oder -datensatz X wird parallel mit alien Referenzvektoren oder -datensatzen Wi, W2, . . 20 
Win verglichen. Derjenige Referenzvektor Wj, der dem Eingabevektor X am ahnlichsten, wie z. B. am nachsten ist, ist 
der sogenannte "Gewinner" und veranlaBt das entsprechende Neuron j in der LVQ-Neuionenschicht zu "feuem". Da 
diese Neuronen in die Klassen Ci, C2» - • -.C^ eingeteilt sind oder diese Klassen reprasentieren, ist damit der Eingabe- 
vektor oder -datensatz X klassifizi^ 

Die Vorteile solcher neuronaler Netze sind Lemfahigkeit, Parallelitat, verteilte Wissensreprasentation, hohere Fehler- 25 
toleranz gegeniiber herkommlichen Algorithmen, Assoziative Speicherung von Information, Robustheit gegen Storun- 
gen oder venrauschte Daten, Default-Werte und spontane Generalisierung sowie aktive Reprasentation, Dennoch weisen 
neuronale Netze auch Nachteile auf, insbesondere dadurch, daB ein Wissenserwerb nur durch Lemen moglich ist, und 
daB dieses Lemen relativ langsam ist. 

In zahlreichen Anwendungen sind jedoch nicht nur typische Beispiele bekannt, sondem auch gewisse Bedingungen, 30 
die bei der Klassifizierung erfuUt sein sollen. Als Stand der Technik sind hier die Publikationen N. P. Archer, S. Wang: 
"Application of the Back Propagation Neural Network Algorithm with Monotonicity Consu-aints for TVvo-Group Classi- 
fication Problems", Decision Sciences, 24 (1993), S. 60 bis 75, und Y. S. Abu-Mustafa: "Learning from Hints", Journal 
of Complexity, 10 (1994), S. 165 bis 178 (insbesondere S. 170), zu nennen. 

l>iese VerofTentlichungen betreffen allerdings keine T.VQ-Netze. Die Arbeit von Archer und Wang bezieht sich auf 35 
Backpropagation (Ruckwarisausbreitung), wahrend die Darstellung von Abu-Mustafa allgemeiner angelegt ist, Bdde 
Arbeiten zielen jedoch ab auf die Approximation einer monotonen Funktion. 

Bei dem Verfahren nach Archer und Wang muB der eigentlichen Klassifikation als Filter eine Klassifikation aus der Li- 
nearen Diskriminanz-Analyse (T.DA) vorgeschaltet werden. Dadurch wird den Daten ein Trend zur linearen Klassifika- 
tion aufgepragu der den Vorteil der neuronalen Netze, nichtlineare Effekte koirekt wiederzugeben, nicht voll wirksam 40 
werden laBl. AuBerdem steckt in der Veranderung der gegebenen Daten eine unverstandliche Willkiir. Dies gilt insbeson- 
dere auch wegen der Verwendung von willkurlichen Parametem. 

Das von Abu-Mustafa voigeschiagene Trainingsverfahren besteht in einer Vergr5Berung der Beispieimenge um Bei- 
spiele, die eine Monotonie refiektieren. Dadurch wild der TYainingsaufwand deutlich erfadht. Es bleibt unklar, wieviel 
neue Beispiele eingeschleust werden miissen, damit die Monotonie ausreichend gewahrleistet wird. In einem strikten 45 
Sinne kann sie bei der Methode von Abu-Mustafa sowieso nicht garantiert werden. 

Es ist daher ein Ziel der vorliegenden Erfindung, ein neuronales Netz zur lernenden \%ktorquantisierung sowie ein 
Klassifizierungs verfahren mit einem neuronalen Netz zur lernenden Vektorquantisierung zu schaflen, wobei vorbe- 
kanntc Bedingungen bei dcr Klassifizierung zuvcrlassig cingchaltcn wcrdcn. 

Dieses Ziel wird vorrichtungsmaBig mit einem neuronalen Netz zur lernenden Vektorquantisierung nach dem An- 50 
spruch 1 und verfahiensmafiig mit einem Klassifizierungsverfahren flir Eingabedatensatze mit einem neuronalen Netz 
zur lernenden Vektorquantisierung nach Anspruch 20 erreicht. 

ErfindungsgcmaB cnthalt cin neuronales Netz zur lernenden Vektorquantisierung Eingabeeinrichtungen fiir Eingabe- 
datensatze und wenigstens dne Schicht aktiver Neuronen, die mit den Eingabeeinrichtungen verbunden und denen Re- 
ferenzdatensStze zugeordnet sind, um zur Klassifizierung eines Eingabedatensatzes durch Veigleich mit alien Referenz- 55 
datensatzen dasjenige Neuron der Schicht aktiver Neuronen, dessen Referenzdatensatz dem Eingabedatensatz am ahn- 
lichsten ist, zu einer Ausgabe an Ausgabeeinrichtungen zu veranlassen. Zur Einhaltung vorbekannter Bedingungen ist 
dabei voigesehen, daB bei der Ahnlichkeitsbestimmung zwischen einem Eingabedatensatz X und den Referenzdatensat- 
zen W bei zumindest einer seiner Komponenten xj eine vorbekannte Hgenschaft der Klassifizierung, ude z. B. Monoto- 
nie in wenigstens einer Richtung oder Symmetric, zu Grunde gelegt ist. 60 

Die vorliegende Erfindung gibt fur den Netztyp der lernenden Vektorquantisierung (LV(J) eine Technik an, welche ga- 
rantiert, daB die Funktion <p im strikten Sinn eine Eigenschafi, wie z. B. eine Monotonieeigenschaft, besitzt. Ftir die Ein- 
speisung eines derartigen prozeduraien Wissens in das neuronale Netz sind keine standardmUfiigen Ldsungen bekannt. 
Zwar wird in T. Kohonen: "6. Learning Vector Quantization" (a.a.0.) und Andreas Zell: "Simulation Neuronaler Netze" 
(a.aO.) die prinzipielle Mdglichkeit der Vo-wendung eines anderen als des euklidischen Abstands als Ahnlichkeitskrite- 65 
rium bei LVQ erwahnt, jedoch wird fur den exemplarisch hier genannten praktisch wichugen Fall der Monotonie kein 
geeigneter Abstand angegeben. 

Bei dem durch die Erfindung geschaff«ien neuronalen Netz werden die geforderten Eigenschaften, wie beispielsweise 
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Monolonien, bei der Klassifikalion slxikl eingehalten. Vorleilhafi isl daruber hinaus, daB der Trainingsaufwand deutlich 
rcduzicrt wird, da die Eigcnschaftcn, wic z. B. Monotoniccigcnschaftcn, nicht mchr durch Bcispiclc trainicrt wcrdcn 
mussen. Dies ist besonders wichdg bei Problemen mit ungunstiger Datensituation. 

Vorzugsweise ist bei dem neuronales Netz nach der Erfindung weiter voigesehen, daB die Bingabeeinrichtungen eine 
5 Eingabeneuronenschicht enlhallen, deren Eingabeneuronen jeweils voUsLandig mil jedein Neuron der Schichl akiiver 
Ncuroncn vcrbundcn sind, wodurch cine besonders schncllc Datcnvcrarbcitung (^mdglicht wild. GcmSfi cincr bcvorzug- 
ten Wdterbildung davon kann voigesehen sein, daB jedem Hngabeneuron der Eingabeneuronenschicht eine Kompo- 
nente Xi eines Eingabedatensatzes X zugeordnet ist. 

Mit Vorteil sind bei einem neuronalen Netz der Erfindung die Neuronen einer Schicht aktiver Neuronen in Ausgabe- 

10 klassen eingeteilL Dabei kann weiterhin voigesehen sein, daB jeder Ausgabeklasse wenigstens ein Neuron und insbeson- 
dere eine Vielzahl von Neuronen einer Schicht aktiver Neuronen zugeordnet ist. 

Eine andere bevorzugte Ausgestaltung der Erfindung sieht vor, daB die Ausgabeeinrichtungen eine Ausgabeneuronen- 
schicht en thai ten, deren Ausgabeneuronen jeweils eine Ausgabeklasse reprasentieren und in Abhangigkeit von dem er- 
inittelten Neuron der vorheigehenden Schicht aktiver Neuronen aktivierbar sind. 

IS Bei den bisher geschilderten weiterfuhrenden Ausgestaltungen hinsichtlich Ausgabeklassen kann die vorbekannte Ei- 
genschaft der Klassifizierung, wie z. B. Monotonie in zumindest wenigstens einer Richtung oder Symmetric, fur zumin- 
dest eine Ausgabeklasse gelten. 

Vorzugsweise erfolgt bei einem neuronalen Netz, wie es durch die Erfindung geschafifen wurde, die Ahnlichkeitsbe- 
stimmung zwischen einem Eingabedatensatz X und jedem der Referenzdatensatze W in der Weise, daB deijenige Refe- 

20 renzdatensalz W bestimmt wird, der den geringsten Abstand, insbesondere den geringsten euklidischen Absland von 
dem Eingabedatensatz X aufweist. Ein solches Ahnlichkeitskriterium kann mit geringem Rechenaufwand und zuverlas- 
sig angewandt werden. Dies ermoglicht wiedenim ein schnelles Training und eine schnelle Klassifizierung von Muster- 
datensatzen, deren Klassenzugehorigkeit ermittelt werden soil, sowie eine hohe Reproduzierbarkeit der Anwendung. 
Eine besonders bevorzugte Ausgestaltung des erfindungsgemaBen neuronalen Netzes ist zur Ahnlichkeitsbestimmung 

25 zwischen einem Eingabedatensatz X und jedem der Referenzdatensatze W dazu ausgelegt, zu denjenigen Referenzdaten- 
satzen W, deren Klasse wenigstens eine vorgegebene Eigenschaft, wie z. B. eine Monotonieeigenschaft, besitzt, eine 
Punktmenge zu bilden, die aus einem Referenzdatensatz und denjenigen Datensatzen gebildet ist, die von dem Referenz- 
datensatz aus in der/den Richtung(en) der einen oder mehreren voigegebenen Eigenschaft(en), wie z. B. Monotonieei- 
genschaft(en), liegen, und anhand deijenigen Punktmenge, von der der Eingabedatensatz X den geringsten Abstand, ins- 

30 besondere den geringsten euklidischen Abstand, aufweist, den zugehorigen Referenzdatensatz W als denjenigen festzu- 
legen, der dem Eingabedatensatz X am ahnlichsten ist. Wenn man die Referenzdatensatze W als Punkte in einem mehr- 
dimensionaien Raum betrachtet, dann konnen die zugehorigen Punktmengen die von einschlieBlich dem Punkt eines Re- 
ferenzdatensatzes W ausgehenden Ilalbgeraden, Teilebenen oder entsprechenden hoherdimensionalen Gebilde sein, die 
den Punkt des jeweiligen Referenzdatensatzes W enthalten und in der/den Monotonierichtung(en) verlaufen. Anders aus- 

35 gedriickt, sind somit diejenigen Datensatze, die von dem Referenzdatensatz aus in einer Monotonierichtung oder mehre- 
ren Monotonierichtungen liegen, diejenigen, die eine oder mehrere von einem Refmnzdatensatz W ausgehende Halb- 
gerade(n), Teilebene(n) oder entspiechende hoherdimensionale Gebilde bilden. 

In Anbetracht der praktischen Bedeutung der Monotonie bei Klassifizierungsaufgaben ist bei einer besonders bevor- 
zugten Weiterbildung des erfindungsgemaBen neuronalen Netzes voiigesehen, daB zur Klassifizierung eines Eingabeda- 

40 tensatzes X bei zumindest einer seiner Komponenten x, wenigstens ein Giiltigkeitsbereich einer vorgegebenen Eigen- 
schaft, wie z. B. einer Monotonieeigenschaft, zu Grunde gelegt ist 

Im Rahmen der Erfindung ist es femer bevorzugt, wenn ein Giiltigkeitsbereich einer voigegebenen Eigenschaft, wie 
z. B. einer Monotonieeigenschaft, der Komponente Xi des Eingabedatensatzes X die positive oder negative i-Richtung 
der Komponente Xj des Eingabedatensatzes X ist. 

45 Nachfolgend werden einige besonders bevorzugte Realisierungra im Rahmen der Erfindung zur Aufpragung einer 
Monotonieeigenschaft bei der Klassifizierung oder Must^^rkennung angegeben. 

Bei einer mit Vorzug verwendeten Variante des neuronalen Netzes nach der Erfindung ist voigesehra, daB es bei der 
Ahnlichkeitsbesdimnung zwischen einem Eingabedatensatz X und jedein der Referenzdatensatze W die der voigegebe- 
nen oder vorbekanntcn Eigenschaft, wic z. B. cincr Monotonieeigenschaft, der Klassifiziming cntsprochcndc Kompo- 

50 nente xj des Eingabedatensatzes X unberiicksichtigt laBt, wenn der Eingabedatensatz in dem entsprechenden Giiltigkeits- 
bereich der vorgegebenen Eigenschaft, wie z. B. einer Monotonieeigenschaft, der Klassifizierung liegt und gegeniiber 
dem Referenzdatensatz W eine dies^ Eigenschaft enlsprechende Lage hat (vgl. z. B. Fig. 2 und die Beschreibung dazu 
wcitcr untcn). 

Altemativ ist ein erfindungsgemaBes neuronales Netz auch dadurch zu erreichen, daB es den Abstand zwischen einem 
55 Eingabedatensatz X und jedem der Referenzdatensatze W bestimmt, indem zu alien Referenzdatensatzen W, welche zu 
Klassen mit einer oder mehreren vorgegebenen Eigenschaften, wie z. B. Monotonieeigenschaft(en), gehoren, ausgehend 
von jedem dieser Referenzdatensatze W in Richtung der einen oder mehieien voigegebenen Eigenschaften, wie z. B. 
Monotonieeigenschaft(en), eine zugehorige Punktmrage gebildet wird und dann der Abstand des Eingabedatensatzes X 
von dieser Punktmenge bestimmt wird, soweit diese in dem GUltigkeitsb^-eich oder den Giiltigkeitsbmichen der voige- 
60 gebenen Eigenschaft(en) liegt 

Fiir den speziellen Fall einer Monotonieeigenschaft einer Komponente xi der Eingabedatensatze X in positiver i-Rich- 
tung ist es bevorzugt, wenn bei dem erfindungsgemaBen neuronalen Netz der Abstand zwischen einem Eingabedatensatz 
X und den Referenzdatensatzen W gem^ 

65 
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falls > Wi 



(6) 

[|X-W|| = It (Xv-Wv)2 falls x. < Wi 

1/ v=l ^ 



bestimmt wind, wobei X = (xi, . . ., Xn) und W = (wi, . . Wn). 10 

Analog gilt fur den Fall, daB einc Monotonieeigenschaft einer Komponente der Eingabedatens^tze X in negativer i- 
Richtung vorliegt, dafi das neuronale Netz den Abstand zwischen den Eingabedatensatzen X und den Referenzdatensat- 
zen W vorzugsweise gemaB 



d(X,W) = ^ 




falls x^ < Wi 

(7) 

||X-W|| = It (xv"Wv)2 falls Xi > Wi 
y v=i 



IS 



20 



bestimmt wird, wobei X = (xi, . . Xn) und W = (wj, . . Wo). 

Eine solche Berechnung des Abstands bedeutet in vorteilhafter Weise keine Erhdhung des erforderlichen Rechenauf« 
wandes. Zwar kommt eine Abfrage hinzu, jedoch enibrigt sich in stadstisch 50% der Falle eine Quadrierung und cine 25 
Addition sowie eine Differenzbildung. 

Weiterhin kann zur vorteilhaften Realisierung der Erfindung voigesehen sein, daB die Neuronen der Schicht aktiver 
Neuronen jeweils eine Prozessoreinheit und einen lokalen Speicher zur Speicherung eines Referenzdatensatzes W ent- 
halten, daB die Schicht durch eine Parallelanordnung der Prozessoreinheiten mit ihren zugeordneten Speichem gebildet 
ist, und daB jede Prozessoreinheit zur Durchfuhrung des Veigleichs des eingegebenen Eingabedatensatzes X mit dem Re- 30 
terenzdatensatz W in dem zugehorigen Speicher ausgelegt ist. 

Besonders bevorzugt ist eine erfindungsgemaBe Ausgesiaitung des neuronalen Netzes, bei der die Schicht aktiver 
Neuronen zum parallelen Veigleich eines Eingabedatensatzes X mit alien Referenzdatensatzen W ausgelegt ist. 

Femer liegt es ebenfalls im Rahmen der Erfindung, wenn, wie bei einer anderen Ausfuhrung des neuronalen Netzes, 
die Neuronen der Schicht aktiver Neuronen zumindest durch eine 7^ntrale Verarbeitungseinheit und einen zentralen 35 
Speicher zum Speichem aller Referenzdatensatzes W gebildet sind, und wenn die zenu^e \ferarbeitungseinheit zum 
Durchfuhren des Vergleichs des eingegebenen Eingabedatensatzes X mil jedem Referenzdatensatz W in dem zenU^len 
Speicher in paralleler oder beziiglich jedes Referenzdatensatzes W unmittelbar serieller oder beziiglich jeder Kompo- 
nente Xi des Eingabedatensatzes X unmittelbar serieller Weise ausgelegt ist. Solche unmittelbaren seriellen Simulationen 
einer parallelen Verarbeitung konnen auch als quasiparallele N^raibeitungen angesehen werden, wobei eventuelle zeitli- 40 
che Nachteile durch entsprechend hohe Rechnerleistung, wie insbesondere lyageschwindigkeit oder Wortbreite, kom- 
pensiert weiden kdnnen. 

Die Auswahl einer geeigneten Hardwarebasis hangt von den Moglichkeiten, wie u. a. Finanzen, von dem Einsatzbe- 
darf, wie z. B, mobile Rechner oder wenige oder zahireiche individuelle Systeme, und von dem zu bearbeitenden Pro- 
blem ab. Die Erfindung ist jedoch nicht auf einzehie Rechnerarchitekturen oder Softwareplattformen beschrankt, son- 45 
dem kann, die Implementierung eines neuronalen Netzes durch oder auf einem Computer von im wesentlichen beliebi- 
ger Bauart vorausgesetzt, im Rahmen aller bekannten Systeme umgesetzt und betrieben werden. 

Wie bereils weiusr oben angegeben wurde, konnen die Eingabedatensalze X durch Eingabevekloren und die Referenz- 
datcnsatzc W durch Rcfcrcnzvcktorcn gebildet scin. 

Bei dem erfindungsgemaBen Klassifizieningsverfahren fur Eingabedatensatze mit einem neuronalen Netz zur lemen- SO 
den Vektorquantisierung w^den Eingabedatensatze uber Eingabeeimichtungen einer Ahnlichkeitsbestimmung beziig- 
lich Referenzdalensalzen unLerzogen, die jeweils einem Neuron einer Schicht aktiver Neuronen zugeordnet sind, und es 
wird zur Klassifizicrung durch Vsrglcichcn cincs Eingabedatensatzes mit alien Referenzdatensatzen dasjcnigc Neuron 
der Schicht aktiver Neuronen, dessen Referenzdatensatz dem Eingabedatensatz am ahnlichsten ist, eine Ausgabe an Aus- 
gabeeinrichtungen veranlaBt, wobei bei der Ahnlichkeitsbestimmung zwischen einem Eingabedatensatz X und den Re- 55 
feienzdatensatzen W bei zumindest einer seiner Komponenten X[ eine vorbekannte Eigenschaft der Klassifiuerung, wie 
z. B. Monotonie in wenigstens einer Richtung oder Symmetrie, zu Grunde gelegt wird. 

Die bevorzugten und mit Vorteil anwendbaren Fortbildungen dieses Klassifiziemngsverfahrens im Rahmen der Erfin- 
dung sind analog zu den erfindungsgemaB weiterbildenden voirichtungsmafiigen Ausfuhrungen, die weiter oben ange- 
geben und behandelt sind. 60 

Weitere vorteilhafte Ausgestaltungen ergeben sich aus den abhangigen Anspnichen und deren Kombinationen. 

Die Erfindung wird nachfolgend anband konkreter Ausfuhrungsbeispiele nSher beschrieben, ohne daB damit eine Be- 
schrankung der Erfindung auf die angegebenen Varianten verbunden sein soil. Der gesamte Umfang der Erfindung wird 
durch den vollst^digen OfFenbarungsgehalt dieser Beschreibung und der Anspruche bestimmt, wobei samtliche Varia- 
tionen, Modifikationen und Substitutionen durch die Erfindung abgedeckt sind, die der Fachmann ohne weiteres aus der 65 
Gesamtheit dieser Unterlagen zu erkennen vermag. Dabei sind in deien Offenbarungsumfang durch die Bezugnahme im 
vorstehenden einleitenden Teil dieser Beschreibung insbesondere audi die dort angegebenen und teilweise zitierten 
Druckschriften und Bucher vollinhaltlich enthalten. 
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Das grundsalzliche Prinzip eines neuronalen LVQ-Nelzwerkes isl in der Fig, 1 veranschaulichL, aufdie bereits iiii vor- 
anstchcndcn cinlcitcndcn Toil dicscr Bcschrcibung cingcgangcn wurdc. 

Die Fig. 2 zeigt eine schematische Darstellung zur Erlauterung der Abstandsbestimmung bei einem ersten Ausfuh- 
rungsbeiSpiel eines neuronalen LVQ-Netzes mil Monotonie in positiver 2-Richtung. 
5 Die Fig, 3 isl eine Darstellung der Klassengrenze bei einein neuronalen LVQ-NeU^ mil zwei Klassen ohne Monolonie- 
cigcnschaftcn. 

Die Fig. 4 illustriert die Klassengrenze, die sich durch Anwendung der Formeln (6) und (7) eigibt, bei einem neuro- 
nalen LVQ-Netz mil zwei Klassen, wobei die Klasse Cja monoton in positiver 2-Richtung und die Klasse Cnein monoton 
in negativer 2-Richtung ist. 

10 Die Fig. 5a und 5b zeigen ein erstes Beispiel einer Simulation des erfindungsgemafien neuronalen Netzes bzw. des ent- 
sprechenden Klassifizierungsverfahrens. 

Die Fig. 6a und 6b zeigen ein zweites Beispiel einer Simulation des erfindungsgemaBen neuronalen Netzes bzw. des 
entsprechenden Klassifizierungsverfahrens. 

Bei neuronalen Netzen wird im Rahmen der lemenden Vdctorquantisi«iing eine Ahnlichkeitsbestimmung durchge- 
15 fuhrt, die ohne Beschrankung auf bestimmte Ahnlichkeitskriterien nachfoigend anhand einer durch einen Abstand be- 
stimmten Ahnlichkeit erlautert wird. 

Um zu prazisieren, was unter dem am nachsten liegenden Referenzdatensatz oder -vektor (Codebuchvektor) verstan- 
den werden soli, ist die Definition eines Abstands notig. Eine haufig verwendete Form dafiir ist die euklidische Norm 
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l|X|| := + ^2 + • • • + x2 (8) 



wobei X = (xi, . . ., xj. 

Die GroBe d(X,Wj) = llX-WjII stellt dann den bekannten euklidischen Abstand zwischen dem Eingabevektor X und 
25 dem Referenzvektor Wj dar, Der Gewinner Wc unter den Referenzvektoren ist also definiert durch 

IK - Well = minj (IK - Wjll) (9) 

wobei X = (xi, . . ., Xn) und Wj = (wi, . . Wnj). 

30 

Als Trainingsmethoden zur Ermittlung von Referenzfaktoren, welche die Klasseneinteilung gut abdecken, sind ver- 
schiedene Verfahren in Gebrauch: LVQl, LVQ2, LVQ2.1, LVQ3, OLVQl. Man vergleiche dazu T. Kohonen: "Self-Or- 
ganizing Maps" ("6. Learning Vector Quantization", S. 203fif., a.a.O.) und Andreas Zell: "Simulation Neuronaler Netze" 
(S. 172ff., a.a.O.). 

35 Im folgenden sollen nun einige (evtl. auch alle) der Klassen aus {Ci, C2, . . Ck} eine a priori bekannte Monotonieei- 
genschaft besitzen. Dabei ist eine Klasse C monoton in positiver i-Richtung, falls gilt: 

Ist der Eingabevektor Xq = (xio, X20, . • Xno) aus der Klasse C, so ist auch jeder andere Eingabevektor X = (xi, X2, . . Xn) 
mit der Eigenschaft Xi>Xio und xj = xjo fur j =?t i aus der Klasse C. 

Bntsprechend ist eine Klasse C monoton in negativer i-Richtung, falls gilt: 

40 Ist der Eingabevektor Xo = (xm, Xo, . . ., x^o) aus der Klasse C, so ist auch jeder andere Eingabevektor X = (xi , X2, . . ., Xp) 
mit der Eigenschaft xi < Xio und xj = xjo fiir j ^^i aus der Klasse C. 

Im FaUe einer exemplarisch angegebenen Anwendung zur Kreditwurdigkeitspriifung bei Privatkunden gabe es die 
zwei Klassen C]ja und C!!ncm, welche fiir die Annahme bzw. Ablehnung des Kreditantrags stehen. Falls die Komponente xi 
das Gehalt des Kreditbewerbers bezeichnet, so ist es sicherlich wunschenswert und sinnvoli, da6 die Klasse Cja monoton 

45 in positiver 1-Richtung und die Klasse Cnein monoton in negativer 1-Richtung ist. Derartigen Monotonie-Eigenschaftoi 
kann durch eine geeignete Wahl des Abstandes zwischen Eingabe- und Codebuchvektor Rechnung getragen werden: 
Fiir das vorstehend aufgezeigte Ausfuhrungsbeispiel ist, wenn die Klasse monoton in positiver i-Richtung ist, der Ab- 
stand zwischen dem Eingabevektor X = (xi, X2, . . Xq) und dem zur Klasse C gehorigen Codebuchvektor oder allgemein 
Referenzdatensatz W = (wi, W2, . . ., Wq) bcstimmt durch 

50 



d(X,W) = 




(xv-Wv)^ falls > Wi 

(6) 



l|X-W|| = Ji (xv-wv)2 falls X. < Wi 

\ v=l 

Ist hingegen die Klasse C monoton in negativer i-Richtung, so wird der entsprechende Abstand bestimmt durch 



d(X,W) = 



L (xy-Wv)^ falls Xi < Wi 

Val 

V^i (7) 



||X-W|| = It (xv-wv)2 falls X. > Wi 
Af v=i 
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Iiii Falle n=2 laBl sich die Besliiiiiiiung veranschaulichen/wie in derFig. 2 gezeigl ist 

Einc solchc Bcrcchnung dcs Abstands bcdcutct kcinc Erhohung dcs crfordcrlichcn Rcchcnaufwandcs. Zwar kommt 
eine Abfrage hinsichtlich der GroBe von bezuglich Wi hinzu, jedoch eriibrigt sich in statistisch 50% der F^e eine Dif- 
ferenzbildung, eine Quadrierung und eine Addition. 

Bei einer besonders bevor^ugten Ausgeslallung des erfindungsgenmBen neuronaien Nelzes wird als Vforausselzung zur 5 
Ahnlichkcitsbcstimmung zwischcn cincm Eingabcdatcnsatz X und jcdcm der Rcfcrcnzdatcnsatzc W, fur dcron Klassc 
eine Monotonieeigenschaft gultig isL, zunachst zu jedem dieser Referenzdatensatze W eine Punktmenge gebiidet, die aus 
einem Referenzdatensatz und denjenigen Datensatzen besteht, die von dem Referenzdatensatz aus in einer Monotonie- 
richtung Oder mehreren Monotonierichtungen liegen. Die damit verbundene bevorzugte allgemeine Art einer Abstands- 
besdmmung zur ErmitUung der Ahnlichkeit zwischen Referenzdatens&tzen W und EingabedatensMtzen X ist in derFig. 2 lo 
yerdeutlicht. Die Punktmenge zum Referenzdatensatz W ist bdspielsweise durch die von dem den letzteren reprasentie- 
renden Punkt ausgehende Halbgerade parallel zur 2-Richtung gebildet (punkderte Linie in der Fig. 2). Als MaB fiir die 
Ahnlichkeit eines Eingabedatensatzes X zu einem Referenzdatensatz W wird der z. B. euklidische Abstand zwischen 
dem Eingabedatensatz X und der Punktmenge ermittelt, der der Referenzdatensatz W angehort. 

Als Abstand eines Punktes von einer Punktmenge wird der kurzeste Abstand des Phjnktes von einem Punkt der Punkt- 15 
menge herangezogen. D. h., daB gemaB der Fig. 2 als der Abstand des Eingabedatensatzes Xi vom Referenzdatensatz W 
der Abstand des Eingabedatensatzes Xi von der Halbgeraden erhalten wird, die vom Referenzdatensatz W aus in positi- 
ver 2-Richlung (i=2) verlauft. Dies liegt daran, daB eine Monotonie in posidver 2-Richtung vorgegeben und der Wert der 
2-Komponente (i=2) des Eingabedatensatzes Xi gr5Ber als der Wert der 2-Komponente (i=2) des Referenzdatensatzes W 
ist. Die GroBe des Abstandes zwischen dem Eingabedatensatz Xi und dem Referenzdatensatz W bemiBt sich Igngs des 20 
Lotes vom Eingabedatensatz Xi auf die Halbgerade (punktierte Unie in der Fig. 2), die in der posidven 2-Richtung vom 
Referenzdatensatz W ausgeht. 

Statt einer Monotonie in posidver 2-Richtung, d. h. parallel zur X2-Achse in deren posidver Richtung verlaufend, kann 
beispielsweise eine Monotonie entsprechend relativ zu jeder anderen vorhandenen posidven oder negaUven i-Richtung a 
priori vorgegeben sein. In diesem allgemeineren Fall wird dann als Abstand zwischen einem Eingabedatensatz X und ei- 25 
nem Referenzdatensatz W derjenige Abstand festgelegt, den der Eingabedatensatz X von der Halbgeraden hat, die vom 
Referenzdatensatz W aus in entsprechend der Monotoniebedingung positiver oder negaUver i-Richtung verlauft. Der Ab- 
standswert wird somit durch die Ermitdung des Abstandes des Eingabedatensatzes Xi von der durch die genannte Halb- 
gerade (punkderte Linie in der Fig. 2) gebildeten Punktmenge erhalten. 

Wenn man die Referenzdatensatze W als Punkte in einem mehrdimensionalen Raum betrachtet, dann konnen die zu- 30 
gehorigen Punktmengen die von einschUeBlich dem Punkt eines Referenzdatensatzes W ausgehenden Halbgeraden, Ibi- 
lebenen oder entsprechend hoherdimensionalen Gebilde sein, die den Punkt des jeweiligen Referenzdatensatzes W ent- 
halten und in der Monotonierichtung oder den Monotonierichtungen verlaufen. 

In Abhangigkeit von der konkreten Eigenschaft, wie z. B. einer Monotonieeigenschaft, die dem neuronaien Netz auf- 
gepragt wurde, kann die Punktmenge aber auch durch beliebig liegende Geraden, gekriimmte T-inien, Geraden- oder 35 
Kurventeile, plane oder gekriimmte Ebenen oder Ebenenausschnitte mit jeweils beliebiger, nur durch die vorgegebene 
Eigenschaft bestimmter Lage reprasendert werden, wobei gemaB der hier behandelten Ausfiihrungsform der Ahnlich- 
keitsbestimmung immer der Abstand eines Eingabedatensatzes X zum diesem am nachsten liegenden Punkt der Punkt- 
menge als MaB fiir den Ab.stand dieses Eingabedatensatzes X vom zu der Punktmenge gehorenden Referenzdatensatz W 
gilt. 40 

Der Referenzdatensatz W reprasendert gleichsam die ihm zugeordnete oder von ihm ausgehende Punktmenge. Somit 
ist einem Eingabedatensatz X derjenige Referenzdatensatz W am ahnlichsten, von dessen Punktmenge der Eingabeda- 
tensatz X den geringsten Abstand, insbesondere den geringsten euklidischen Abstand, aufweist. Anders betrachtet kann 
der Sachverhalt auch so formuliert werden, daB die Datensatze der zu einem Referenzdatensatz W gehorenden Punkt- 
menge Reprasentanten dieses Referenzdatensatzes W sind, die seine Wirkungsumgebung im Sinne der vorgegebenen Ei- 45 
genschaft, wie z. B. der Monotonieeigenschaft, formen, indem diese Datensatze die Wirkungsumgebung ausdehnen und/ 
Oder verlegen. Die so definierte Wirkungsumgebung eines Referenzdatensatzes W hangt somit in Ausdehnung, Lage und 
Fonu von der vorgegebenen Eigenschaft, wie z. B. einer Monotonieeigenschaft, ab und beeinduBt den Abstand, der ei- 
nem Eingabedatensatz X bczugHch dcs Referenzdatensatzes W zugcwicscn wird, auch wcnn der Abstand dcs Eingabe- 
datensatzes X von dem Referenzdatensatz W tatsachlich groBer ist SO 

Der Vollstgndigkeit halb«: wird noch auf den Fail eingegangen, der in der Fig, 2 exemplarisch durch den Punkt des 
Eingabedatensatzes X2 reprasendert wild. Anders als beiiu Eingabedatensatz Xi liegt der Wert der 2-Koiuponenie des 
Eingabedatensatzes X2 nicht im Bcrcich der Wcrtc der 2-Komponentc der DatensStzc, die die vom Referenzdatensatz W 
in posidver 2-Richtung ausgehende Halbachse bilden, so daB vom dem Eingabedatensatz X2 entsprechenden Punkt aus 
auf diese Halbgerade kein Lot gefallt werden kann. Daher wird der Abstand des Eingabedatensatzes X2 vom Referenz- 55 
datensatz W als der kurzeste z. B. euklidische Abstand zwischen den den Eingabedatensatz X2 und den Referenzdaten- 
satz W reprasenderenden Punkten ermittelt, wie es auch ohne eine beispielsweise voigegebene Monotonieeigenschaft 
der Fall ware. Die dem Referenzdatensatz W zugeordnete Punktmenge, die gleichsam die beispielsweise zu Grunde ge- 
legte Monotonieeigenschaft zum Ausdruck bringt, spielt somit in diesem Fall keine Rolle. 

Soweit vorstehend von Punkten gesprochen wurde, die Referenzdatensatze W und diesen auf Grund einer voibekann- 60 
ten oder voigegebenen Eigenschaft, wie z. B. einer Monotonieeigenschaft, zugeordnete Punktmengen so wie Eingabeda- 
tensStze X reprSsenderen, erfolgte dies zum Zwecke der Verdeutlichung. In einem anderen Modell kdnnten die Referenz- 
datensatze W, die diesen auf Grund einer vorbekannten Eigenschaft, wie z. B. einer Monotonieeigenschaft, zugeordneten 
Punktmengen und die Eingabedatensatze X durch Vektoren beschrieben werden, wobei dann die vorstehenderi Erlaute- 
rungen zur Punktmengenbildung und Abstandsbesdmmung entsprechend gelten. Sowohl bei dem Punkt- als auch bei 65 
dem Vektormodell handelt es sich lediglich um Beschreibungen einer dem erfindungsgemaBen neuronaien Netz iime- 
wohnenden Eigenschaft. Die Modellvorstellung ermoglicht dabei das Verstandnis, wie bei Ausfiihrungsformen des er- 
findungsgemaBen neuronaien Netzes bei der Ahnlichkeitsbesdmmung zwischen einem Eingabedatensatz X und den Re- 
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ferenzdalensalzen W zu verfahren isL, falls bei :^uiiiindesl einer seiner Koinponenten eine vorbekannle oder vorgege- 
bcnc Eigcnschaft dcr Klassifizicrung, wic z. B. Monoionic in wcnigstcns cincr Richtung odcr Symmetric, zu Gnindc gc- 
legt ist 

Nachfolgend soilen in einigen einfachen, aber charakteristischen Fallen die Grenzen zwischen dcD Klassen bei 
5 wendung der Fonneln (4). (6) und (7) ini Raum der Eingabevektoren veranschaulichl weiden. Sei dazu n = 2, und es gebe 
k = 2 Klassen: C = {Cja> Cndn}. Jcdc Klassc wcrdc nur durch jeweils cincn Codcbook- oder Codcbuchvektoi; d. h. cinen 
Referenzdatensatz reprasentiert. 

In einem ersten Fall, der in der Fig. 3 gezeigt ist, haben sowohl Cja, als auch C„em keine Monotonieeigenschaft. Dann 
ist die Klassengrenze gerade die Mittelsenkrechte zwischen den beiden Endpunkten der Codebook-Vfektoren. 
10 In der Fig. 4 ist fur einen zweiten Fall die Klassengrenze dargestellt. Hier ist die Klasse Cja monoton in positiver 2- 
Richtung, und die Klasse Cncin ist monoton in negativer 2-Richtung. Die Klassengrenze ist zusammengesetzt aus gera- 
denstucken und Parabeln, die dadurch eitalten werden, daB die Punkte ermittelt werden, die von den Referenzdatensat- 
zen Wja und V/^cin bzw. den diesen zugeordneten Punktmengen (punktierte Halbgeraden in der Fig. 4 in positiver 2-Rich- 
tung ausgehend vom Referenzdatensatz Wja und in negativer 2-Richtung ausgehend vom Referenzdatensatz ^jxin) glei- 
15 che Abstande haben. 

Im Falle von mehr^ra Codebook-Vektoren pro Klasse setzen sich die Grenzen aus den obigen Hementen zusammen. 
Diese Beispiele soUen nun fur den praktisch wichtigen Fall zweier Klassen mil gegenl^ufigen Monotonie-Eigenschaf- 
ten weiterentwickelt werden: 

Voraussetzung ist, daB eine Klasseneinteilung in zwei Klassen vorliegt: C = {C^, Cncin} • Klasse Cja sei monoton in 
20 positiver i-Richtung und die Klasse Cnein in negativer i-Richtung. 

Verwendet man dem durch die Gleichungen (6) und (7) eingefuhrten Abstand zwischen den Eingabevektoren oder - 
datensatzen einerseits und den Codebook-Vektoren oder Referenzdatensatzen andererseits, so gibt das neuronale Netz 
die Monotonie-Eigenschaften korrekt wieder. 

Dies laBt sich auch beweisen. Ist nSmlich der Eingabevektor Xq = (xio, Xao , Xno) aus der Klasse Cja, so hat er zu ei- 

25 nem Codebuch- oder Codebook- Vektor aus dieser Klasse im Vergleich zu den Abstanden zu den anderen Codebook-Vek- 
toren einen minimalen Abstand. Wegen der Gleichung (6) kann dieser Abstand nicht groBer werden, wenn xiq vergroBert 
wird. Ebenso konnen die Abstande von Xo zu den Codebook-Vektoren der Klasse Cncin nicht kleiner werden, wenn Xio 
vergroBert wird. Somit bleibt xq auch bei vergroBertem Xjo in der Klasse Cja. Dies bedeutet die Monotonie in positiver i- 
Richtung. Ebenso zeigt sich die Monotonie in negativer i-Richtung. 
30 Verwendet man also in der Simulationsphase den neuen Abstandsbegriflf, so gibt das neuronale Netz die Monotonie- 
Eigenschaften korrekt wieder. Konsequenterweise soUte auch in der Trainingsphase derselbe Abstand verwendet wer- 
den. 

E>ie folgenden Beispiele sind sehr einfach gewahlt, um sie mdglichst nacbvoUziehbar zu halten. Sie belegen die Wirk- 
samkeit der neuen Methode. Sie wurden berechnet mit der MATLAB Neural Network TOOLBOX (H. Demuth, M. 
35 Beale; ITie MathWorks, Inc. Natick, Mass. 1 994). Die darin enthaltene Abstandsberechnung wurde durch das neue erfin- 
dungsgemafie neuronale Netz bzw. das analoge Verfahren entsprechend modifizierL Die zugehorigen Graphiken sind fiir 
das Beispiel 1 in den Fig. 5a und 5b und fiir das Beispiel 2 in den Fig. 6a und 6b gezeigt. 

Beispiel 1 

40 

Dieses Beispiel hat als 'Drainingsmenge die drei Spaltenvektoren der Matrix P: 
r 1 2 3 '^ 

Die ersten beiden Spaltenvektoren gehoren zur Klasse Cj^ der letzte zur Klasse C:ncin Dies wird an das System tiber- 
geben durch eine Matrix T, wobei eine Spalle (1,0)'^ fiir ja und eine Spalle (0,1)*^ fiir nein steht. Eine Matrix Wl enthiai 
am Anfang die Startvcktorcn fur das Training dcr Codebook-Vektoren odcr Rcfcrcnzdatcnsatzc. Eine Matrix W2 Icgt 
50 hier fest, daB jede Klasse durch genau einen Referenzdatensatz oder Codebook- Vektor reprasentiert weiden soil. Nach 
der Trainingsphase (1000 Epochen) enthalten die Zeilen von Wl die ermittelten Codebook-Vektoren. 

Ohne BerUcksichtigung der Monotonie sind das die Codebook-\^kloren 

wl = (1.5782, 1.0012), w2 = (2.9637, 2.9637) (11) 

55 

Diese sind in der entsprechenden Graphik der Fig. 5a als O und a markiert, wShrend die Vektoren der Trainings- 
menge mit + und k gekennzeichnet sind. Die Symbole O und + stehen dabei fUr die Klasse Cja, wahrend die Symbole 
H und X die Klasse Cncin kennzeichnen. Die vom neuronalen Netz ermittelt Klassengrenze ist hier die Mittel s«ik- 
rechte zwischen den beiden Codebook-Vektoren. Sie erfiillt die Forderung der Monotonie in positive- und negativer 2- 
60 Richtung naturlich nicht, wie durch Simulationen mit dem Programm "simulvq" von MATLAB Neural Network TOOL- 
BOX (a.a.O.) belegt werden kann. 

Mit Beriicksichtigung der Monotonie des neuronalen Netzes bzw. des damit ausgefiihrten Verfahrens nach der vorlie- 
graden Erfindung werden als Refer^izdatensatze oder Codebook-Vektoren berechnet 

65 wl = (1.578U 1.0011), w2 = (2.9725, 2.9951) (12) 

die in der Fig. 5b in analoger Symbolik zur Fig. 5a gezeigt sind. 

Die vom neuronalen Netz ermittelte Klass«igrenze ahnelt hier der Fig. 4. Die Forderung dsr Monotonie in positive 



8 



DE 197 34 735 A 1 



und negaliver 2-Richtung ist erftlllt. Dies kann wieder durch Siinulalionen mil dein Prognuiuii "sinulvq" von MATLAB 
Neural Network TOOLBOX (a.a.O.) bclcgt werden. 

Beispiel 2 

5 

Dieses Beispiel hat als Trainingsmcngc die neun Spaltenvektoren der Matrix P: 

/'123445 5 6 7 
1^5 44341 3.5 6 2.5 

Die ersten sechs Spalten gehdren zur Klasse Cja, die letzten drei zur Klasse Coein- In der Matrix W2 wild diesmal fest- 
gelegt, daB die Klasse Cj^ durch zwei Codebook-Vektoren und die Klasse Cncin durch einen Codebook- Vektor reprasen- 
tiert werden soli. Nach der Trainingsphase (2000 Epochen) enthalten die Zeilen von Wl wieder die ermittelten Code- 
buch- Oder Codebook-Vektoren. Ohne Beriicksichtigung der Monotonie sind das die Refeienzdatensatze oder Code- is 
book-Vektoren 

wl = (2.0519, 4.3227) 
w2 = (4.2409, 2.5944) 

w3 = (5.9431, 4.0749) (14) 20 



(13) 



10 



Diese sind in der entsprechenden Graphik der Fig, 6a wieder als O und b markiert, wShrend die Vektoren der IVai- 
ningsmenge mit + und m. gekennzeichnet sind. Die Symboie O und + siehen dabei fiir die Klasse Cja, wahrend die Sym- 
bole H und x die Klasse Cnein kennzeichnen. Die vom neuronalen Netz ermittelte Klassengrenze seizi sich hier zusam- 
men aus der Mittelsenkrechten zwischen wl und w3 und aus der Mittelsenkrechten zwischen w2 und w3. Sie erftillt die 25 
Forderung der Monotonie in positiver und negativer 2-Richtung nicbt. 

Mit Beriicksichdgung der Monotonie nach der neuen Methode werden als Codebook-Vektoren berechnet 



wl = (3.7065, 2.7192) 

w2= (1.9509, 4.3476) 30 
w3 = (6.3209, 5.2759) (15) 



die in der Fig, 6b in analoger Symbolik zur Fig. 6a gezeigt sind. 

Die vom neuronalen Netz ermittelte Klassengrenze erfullt hier die Forderung der Monotonie in positiver und negativer 
.2-Richtung. Dies kann wieder belegt werden durch Simulationen mit dem Programm "simulvq" MA'H.AB Neural Net- 
work TOOLBOX (a.a.O.). 

Als interessant bei der durchgefiihrten Simulation zeigte sich, daB der urspriinglich als "ja" klassifizierte TVainingsvek- 
tor (5,1)^ nun unter Anwendung der Erfindung als "nein" klassifiziert wurde. Ahnlich wurde der urspriinglich als "nein" 
klassifizierte Trainings vektor (5, 3.5)^ nun bei einem erfindungsgemaBen neuronalen Netz und enLsprechendem Klassi- 
fizierungsverfahren als "ja" klassifiziert. Diese Ergebnisse sind aber durchaus erwunscht, da die ursprungUche Klassifi- 
kadon dieser beiden Trainingsvektorra ja im Widerspruch zur Forderung dieser Monotonie steht. GemaB der Erfindung 
hat somit die vorgegebene, d. h. a priori voifaandene Monotonieeigenschaft ^^rzug vor der Klassifizierung der Trainings- 
vektoren. Durch die Erfindung wird also der Monotonie-Forderung ein hdherer vStellenw«t eingeraumt als den TVai- 
ningsdaten. Dies ist absolut sinnvoll, da die Monotonie-Forderung eine exakte, harte Eigenschaft darstellt, wahrend die 
Trainingsdaten mit statistischen MeB- und Erhebungsfehlem behaftet sind. 

Aus Griinden der einfacheren Darstellung wurde teilweise nur der Fall der Monotonie in einer Richtung behandelt 
Das Verfahren laBt sich jedoch unmittelbar verallgemeinem. Wenn etwa die Klasse C monoton in positiver i-Richtung 



und in negaliver j-Richtung ist, so muB als AbsUind zwischen X = (xi, , 
book- Vektor oder Rcfcrcnzdatensatz W = (wi, . . Wg) bcstimmt werden: 



, Xq) und deiii zur Klasse C gehorigen Code- 



d(x,W) = 



n 

z 

V5tj 



(xv— Wv)^ falls > Wi und Xj < Wj 



X (xv-Wv)^ falls 



> Wi und Xj > Wj 



J Z (xv-Wv)^ falls Xj^ < Wi und Xj < Wj 

||X-W|| = ^^L (xv-Wv)2 falls x^ < Wi und Xj > Wj 



(16) 



Entsprechend lassen sich alle Kombinationen behandeln. Es gilt dann wieder eine der weiter oben angegebenen Ent- 
wicklung fur den praktisch wichdgen Fall zweier Kiassen mit gegenlaufigen Monotonie-Eigenschaften entsprechende 
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Aussage. 

Fiir ncuronalc LVQ-Nctzc gibt cs zahlrcichc Anwcndungsmoglichkcitcn, bci dcncn sich die Erfindung mit \brtcil cin- 
setzen lafit. 

Beispielsweise werden als typische Verlreter von Klassifizierungstheniatiken zunachst betriebswirtschafUiche An- 
5 wendungen angefuhrt. Nach N. P. Archer, S. Wang: "AppUcalion of the Back Propagation Neural Network Algorithm 
with Monotonicily Constraints for Two-Group Classification Problems" (Abstract; a.a.O.) bcsitzcn die mcistcn Klassifi- 
kationsaufgaben aus diesem Bereich Monotonie-Eigenschaften. Neben Kaufakt- und Markenwahlmodellen ist hier vor 
allem die Anwendung von neuronalen Netzen zur Kreditwiirdigkeitspriifung zu nennen. 

Weiterer Hinteigrund fiir derartige Anwendungen bei der Klassifikation von Unternehmen mittels kunsdichen neuro- 

10 nalen Netzen finden sich in M. Kerling, T. Poddig: "Klassifikation von Unternehmen mittels KNN", in "Neuronale Netze 
in der Okonomie" (herausgegeben von H. Rehkugler und H, G. Zinmiermann), S. 427 bis 490, Veriag Franz Vahlen, 
Munchen (1994), und C. Krause: "Kreditwurdigkeitsprufling mit neuronalen Netzen", Dissertation am Institut fiir Revi- 
sionswesen der Westfalischen Wilhelms-Universitat Munster, IDW- Veriag GmbH, Dusseldorf, 1993. 

Mit der Anwendung von kiinstlichen neuronalen Netzen zur Kreditwiirdigkeitspriifung bei Privatkundenkrediten be- 

15 fassen sich T. Lohrbach: "Einsatz von kunstlichen neuronalen Netzen fur ausgewahlte betriebswirtschaftliche Aufgaben- 
stellungen und Vergleich mit konventioneUen Losungsverfahren", Dissertation am Institut fur Wirtschaftsinformatik der 
Universitat Gotdngen, Unitext- Veriag, Gottingen, 1994, und A. Schmidt-von-Rhein, H. Rehkugler: "KNN zur Kredit- 
wiirdigkeitspriifung bei Privatkundenkrediten", in "Neuronale Netze in der Okonomie" (herausgegeben von H. Rehkug- 
ler und H. G. Zimmermann), 491 bis 545, Veriag Franz Vahlen, Munchen (1994). 

20 Die Netztypen MLP (Multilayer-PercepUTon) und LVQ schlagen nach A. Schmidt- von-Rhein, H. Rehkugler: "KNN 
zur Kreditwurdigkeitspriifung bei Privatkundenkrediten" (S. 541, a.a.O.) in diesen Bereichen die lineare multivariante 
Diskriminanzanalyse (MDA), welches das konkunrierrade Standardverfahren aus der Statistik darstellt (vgL etwa L. 
Fahrmeir, W. Haussler, G. Tutz: "Diskriminanzanalyse", in "Multivariante statisdsche Verfahren" (herausgegeben von L. 
Fahnneir und A. Hamerle), S. 301-370, Walter de Gruyter, Berlin (1984)). Die neuronalen Netze haben gegenuber MDA 

25 den Vorteil, daB weitgehend beliebige nichdineare Zusammenhange abbildbar sind. Sie machen auch geringere theoreti- 
sche Voraussetzungen iiber ihre Anwendbarkeit. Der Netztyp LVQ hat gegenUber MLP jedenfaUs den Vorteil, daB die 
Resultate des ersiaren besser interpretierijar sind. Diese Tlatsache ist fiir die Akzeptanz des Verfahrens im betriebswirt- 
schaftlichen Umfeld von Bedeutung. 

Die Offenbarungen der vorstehend angegebenen Literaturquellen sind durch die Bezugnahme hiermit vollumfanglich 

30 in die vorliegenden Unterlagen aufgenonmien, 

tJber die genannten wirtschaftlichen Anwendungen des neuronalen LVONetzes und des darauf laufenden Klassifizie- 
rungsverfahrens nach der Erfindung gibt es aber noch weitere Nutzungsmoglichkeiten, wie beispielsweise bei der Be- 
handlung von Steuerprobleraen. Aber auch auf alien anderen Gebieten laBt sich die Erfindung in Form ihtes neuronalen 
LV(3-Netzes und des entsprechenden Klassifizierungs verfahrens mit Xforteil einsetzen. Lediglich exemplarisch seien hier 

35 die Biologie, Neurobiologie, Bioinformatik, Medizin, Neurophysiologie, Psychologic, Hlektrotechnik, Physik, Mathe- 
matik, Informatik und Kunstliche Intelligenz als Gebiete genannt, auf denen zur Losung von viel^dgen Klassifikations- 
aufgaben, wie z. B. zur Musterkennung, das erfindungsgemaBe neuronale LV<J-Netz und das damit verbundene Klassi- 
fizierungsverfahren mit \forteil eingesetzt werden konnen, wie beispielsweise in "Simulation Neuronaler Netze" von An- 
dreas Tell (S. 24 und S. 496 bis 574 a,a.O.) und auch in "Neuronale Netze" von Riidiger Brause (a.a.O.) mit zahlreichen 

40 konkrcten Angaben beschreiben ist. Lediglich exemplarisch zur Verdeutlichung der moglichen Vielfalt der Anwendung 
der Erfindung kann sie bei der Identifikation von Meeresverschmutzem, wie z, B. durch OlablaB aus Tankem, (siehe z. B. 
Y. T, Chien und T, J. Killeen: "Computer and Statistical Considerations for Oil Spill Identification" in "Handbook of Sta- 
tistics", Vol. 2 von Krishnaiah und Kanel (Herausgeber), North-Holland Publishing CZompany, 1982, S. 651 bis 671, mit 
weiteren Nachweisen) oder beim Aufspiiren von Geldwaschetransaktionen eingesetzt weiden. 

45 Die Erfindung sowohl in Form eines neuronalen Netzes zur lemenden Vektorquantisierung, als auch durch das Klas- 
sifizierungsverfahrcn mittels eines solchen neuronalen Netzes, kann vielf^tig implementiert werden. So eigenen sich ne- 
ben digitalen oder analogen VLSI-C3iips, Neurooomputem, insbesondere aus Standardbausteinen, wie Signalpiozesso- 
ren, SIMD-Parallelrechnem, MIMD-(Parallel-)Rechnem, Zusalzkarten, wie z. B. Koprozessor-Boards fiir neuronale 
Netze, insbesondere mit mchrorcn KoprozcssOTcn fur vorzugswcisc hohe Glciticommalcistung, fur Workstations oder 

50 PCs, VLSI-Neurocomputem, insbesondere mit Spezialhardware, fur eine groBere Klasse von konndctionistischen Mo- 
dellen, auch zwischenzeitlich verfiigbare optische Neurocomputersysteme. 

Femer ennoglicht eine Adaption von Workstations oder PCs nut geeigneter Simulationssoflware fiir ein neuronales 
Nctz zur Icmcndcn Vektorquantisierung auch dcrcn Einsatz zur Erstcllung eines neuronalen Netzes und zur Durchfiih- 
rung eines Klassifizierungsverfahrens damit jeweils mit den erfindungsgemaBen Merkmalen. Dabei stellt das durch ane 

55 Software zusammen mit Woricstations oder PCs geschafifene neuronale Netz insbesondere mit der implementierten vor- 
liegenden Erfindung keine reine Computer-Software als solche dar, sondem bildet zusammen mit der Hardware eine 
technisch untrennbare Einheit, worauf u. a, auch in dem Buch "Neuronale Netze" von Riidiger Brause (insbesondere S. 
38, a.a.O.) hingewiesen ist 

Ifinsichtlich der Realisierungsrodglichkeiten und -formen eines neuronalen Netzes wird auf die zahb-eichen und de- 
60 taillieiten Angaben hierzu in den Buchem "Simulation Neuronaler Netze" von Andreas Zell (a.a.O.), "Neuronale Netze" 
von Riidiger Brause (a.a.O.) und "Self-Organizing Maps" von T. Kohonen (a.a.O.) Bezug genommen und dadurch der 
Offenbarungsgehalt dieser Ve-ofifentlichungen insbesondere bezuglich der Bau- und Realisierungsgestaltungen, aber 
auch im ubrigen, vollumfanglich in diese Beschreibung aufgenommen. Grundsatzlich sind alle in den genannten Ulera- 
turqueUen angegebenen neuronalen Netze zur Implementierung der lemenden Vektorquantisierung geeignet 
65 Die Erfindung kann allgemein auch noch in and«ren AusfiihrungsfonnMi und Formulieningen zum Ausdnick gebracht 
werdai. 

So wird gemaB der vorliegenden Erfindung auch ein kiinsUiches neuronales Netz (KNN) zur Imiraden \fektorquanti- 
sierung (LVQ) geschaflfen, das wenigstens eine Schicht aktiver Neuronen, denen Referenzvektoren zugeordnet und diein 
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Ausgabeklassen eingeleilL sind, und Eingabeeinrichuingen fur Eingabevekloren enlhalL, wobei das KNN dazu ausgelegl 
ist, durch Vciglcich cincs Eingabcvcktors parallel mit alien Rcfcrcnzvcktorcn dasjcnigc Neuron zu aktivicrcn, dcsscn Rc- 
ferenzvektor dam Eingabevektor am ahnlichsien ist. Dabei ist vorrichlungsmaBig und wird verfahrensmaBig im Rahmen 
der Erfindung bei der Ahnlichkeitsbestimmung zwischen den Eingabevekioren X = (xu . . Xn) (n eN) und den Refe- 
renzvekloren W = (wi, . . w^) (in e N; in > n) bei zuinindesi einer Koiiiponenle Xi(i e (1, . . in)) der Eingabevekioren 5 
X cine vorbckanntc Eigcnschafl, wic z. B. Monolonic odcr Symmclric, zu Gnindc gclcgL 

Die Erfindung kann aber auch so beU^chtet werden, dafi ein kunstliches neuronales Netz zur lemenden \f%ktorquanti- 
sierung Eingabeeinrichtungen fur n-dimensionale Eingabedatens^tze (neN) und wenigstens eine verdeckte Neuronen- 
schicht enthalt, deren Neuronen Referenzdatensatz-Speichereinrichtungen zum Speichem m-dimensionaler Referenzda- 
tensatze (m€N; in>n) und Verarbeitungseinrichtungen zum Ermitteln desjenigen Referenzdatensatzes bilden, der ei- lO 
nem Hngabedatensatz am ahnlichsten ist, und daB die Verarbeitungseinrichtungen dazu ausgelegt sind, bei der Ahnlich- 
keitsbesdmmung zwischen den Hngabedatensatzen X = (xi, . . Xn) und den Referenzdatensatzen W = (wi, . . , Wq) bei 
zumindest einer Komponente X} (i e (1 bis m)) der EingabedatensStze X eine vorbekannte Eigenschafl, wie z. B. Mono- 
tonie Oder SymmeUie, zu Grunde zu legen. Das Verfahren gestallet sich entsprechend. 

In einer Weiterbildung davon kann die von den Verarbeitungseinrichtungen bei der Bestimmung des Abstandes als 15 
MaB fur die Ahnlichkeit zwischen den Eingabedatensatzen X und den Referenzdatensatzen W zu Grunde gelegte Mono- 
tonieeigenschaft wenigstens in positiver oder negativer i-Richtung der i-ten Komponente xj der Eingabedatensatze X 
vorhanden sein. 

Eine weitere Sichtweise der Erfindung kann durch ein Multiprozessorsystem mit einer Mehrzahl paralleler Prozesso- 
reinheiten, denen jeweils ein insbesondere lokaler Speicher zum Speichem eines Referenzdatensatzes zugeordnet ist, 20 
und Eingabeeinrichtungen fur einen Eingabedatensatz zum Ausdruck gebracht werden, der durch paraUeles veigleichen- 
des Ermitteln der Ahnlichkeit mit alien Referenzdatensatzen entsprechend dem ahnlichsten Referraizdatensatz klassifi- 
zierbar ist. Bei der Ahnlichkeitsbesdmmung zwischen den Eingabevektoren X und den Referenzvektoren W ist bei der 
Vorrichtung und wird bei dem Klassifizierungsverfahren jeweils nach der Erfindung bei zumindest einer Komponente x^ 
der Eingabevektoren X eine vorbekannte Eigenschaft der KlassiUzierung, wie z. B. Monotonie oder Symmetrie, zu 25 
Grunde gelegt. 

Die in dieser Beschreibung angegebene oder zitierte Literatur gehort genauso zum Inhalt und Offenbarungsgehalt die- 
ser Unterlagen, wie wenn sie vollstandig darin wiedergegeben ware. 

Patentanspruche 30 

1 . Neuronales Netz zur lemenden Vektorquantisierung, mit Eingabeeinrichtungen fur EingabedatensStze und we- 
nigstens einer Schicht aktiver Neuronen, die mit den Eingabeeinrichtungen veri^unden und denen Referenzdaten- 
s^tze zugeordnet sind, um zur Klassifizierung eines Eingabedatensatzes durch Vsrgleich mit alien Referenzdaten- 
satzen dasjenige Neuron der Schicht aktiver Neuronen, dessen Referenzdatensatz dem Eingabedatensatz am ahn- 35 
lichsten isu zu einer Ausgabe an Ausgabeeinrichtungen zu veranlassen, dadurch gekeanzeiclinet, daB bei der Ahn- 
lichkeitsbestimmung zwischen einera Eingabedatensatz (X) und den Referenzdatensatzen (W) bei zumindest einer 
seiner Kom|X)nenten (xi) eine vorbekannte Eigenschafl der Klassifizierung, wie z. B. Monotonie in wenigstens ei- 
ner Richtung oder Symmetrie, zu Grunde gelegt ist. 

2. Neuronales Netz nach Anspruch 1, dadurch gekennzeichnet, daB die Eingabeeinrichtungen eine Eingabeneuro- 40 
nenschicht enthalten, deren Eingabeneuronen jeweils vollstandig mit jedem Neuron der Schicht akdver Neuronen 
verbunden sind. 

3. Neuronales Netz nach Anspruch 2, dadurch gekennzeichnet, dafi jedem Eingabeneuron der Eingabeneuronen- 
schicht eine Komponente (Xj) eines Eingabedatensatzes (X) zugeordnet ist 

4. Neuronales Netz nach einem der vorhergehenden Ansprfiche, dadurch gekennzeichnet, dafi die Neuronen einer 45 
Schicht akdver Neuronen in Ausgabeklassen eingeteilt sind. 

5. Neuronales Netz nach Anspruch 4, dadurch gekennzeichnet, daB jeder Ausgabeklasse wenigstens ein Neuron 
und insbesondere eine Vielzahl von Neuronen einer Schicht aktiver Neuronen zugeordnet isL 

6. Neuronales Netz nach cincm der vorhergehenden Anspriichc, dadurch gckcrmzcichnct, dafi die Ausgabeeinrich- 
tungen eine Ausgabeneuronenschicht enthalten, deren Ausgabeneuronen jeweils eine Ausgabeklasse reprasenderen SO 
und in Abhangigkeit von dem ermittelten Neuron der vorheigebenden Schicht aktiver Neuronen aktivierbar sind. 

7. Neuronales Netz nach einem der Anspriiche 4 bis 6, dadurch gekennzdchnet, dafi die vorbekannte Eigenschaft 
der Klassifizierung, wic z. B. Monotonie in wenigstens einer Richtung odcr Symmetric, fxir zimiindcst cine Ausga- 
beklasse gilt 

8. Neuronales Netz nach einem der vorhergehenden Anspruche, dadurch gekennzeichnet, dafi es zur Ahnlichkeits- S5 
bestinunung zwischen einem Eingabedatensatz (X) und jedem der Referenzdatensatze (W) dazu ausgelegt ist, zu 
denjenigen Referenzdatensatzen (W), deren Klasse wenigstens eine vorgegebene Eigenschafl, wie z. B. eine Mono- 

. tonieeigenschaft, besitzt, dne P^nktmenge zu bilden, die aus einem Referenzdatensatz und denjenigen Datensatzen 
gebildet ist, die von dem Referenzdatensatz aus in der/den Richtung(en) der einen oder mehreren voigegebenen Ei- 
genschaft(en), wie z. B. Monotonieeigenschaft(en), liegen, und anhand derjenigen Punktmenge, von der der Hnga- 60 
bedatensatz (X) den geringsten Abstand, insbesondere den geringsten euklidischen Abstand, aufweist, den zugehd- 
rigen Referenzdatensatz (W) als denjenigen festzulegen, der dem Eingabedatensatz (X) am ahnlichsten ist. 

9. Neuronales Netz nach einem der vorhergehenden Anspriiche, dadurch gekeimzeichnet, daB zur Klassifizierung 
eines Eingabedatensatzes (X) bei zumindest dner seiner Komponenten (xO wenigstens ein Gultigkeitsb^reich einer 
vorbekannten Eigenschaft der Klassifizierung, wie z. B. einer Monotonieeigenschaft, bestimmt ist. 65 

10. Neuronales Netz nach Anspruch 9, dadurch gekeimzeichnet, daB es dazu ausgelegt ist, bei der Ahnlichkeitsbe- 
stimmung zwischen einem Eingabedatensatz (X) und jedem der Refer^izdatensatze (W) die der voigegebenen Ei- 
genschaft der Klassifizierung entsprechende Komponente (xO des Eingabedatensatzes (X) unberiicksichdgt zu las- 
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sen, wenn der Eingabedalensatz (X) in deiii entsprechenden Gulligkeilsbereich der vorbekannten Eigenschafl der 
Klassifizicrung licgt und gcgcniibcr dcm Rcfcrcnzdalcnsatz (W) cine dicscr Eigcnschaft cntsprcchcndc Lagc hat. 

11. Neuronales Netz nach einem der vorhergehenden Anspruche, dadurch gekennzeichnet, daB es zur Ahnlich- 
keitsbestimmung zwischen einem Eingabedalensatz (X) und jedem der Referenzdatensatze (W) dazu ausgelegt ist, 
denjenigen Referenzdaiensatz (W) zu bestiiuiiien, der den geringslen Absland, insbesondere den geringslen eukli- 
dischcn Abstand von dcm Eingabcdatoisatz (X) aufwcist. 

12. Neuronales Netz nach Anspruch 9 oder 10 jeweils in Verbindung mit Anspnich 11, dadurch gekennzeichnet, 
daB es dazu ausgelegt ist, den Abstand zwischen einem Eingabedatensatz (X) und jedem der Referenzdatensatze 
(W) zu bestimmen, indem zu alien Referenzdatensatzen (W), welche zu Klassen mit einer oder mehreren vorgege- 
benen Eigenschaften, wie z. B. Monotonieeigenschaft(en), gehoren, ausgehend von jedem dieser Referenzdaten- 
satze (W) in Richtung der einen oder mehreren vorgegebenen Eigenschaft(en), wie z. B. Monotonieeigenschafl(en), 
eine zugehorige Punktmenge gebildet wird und dann der Abstand des Eingabedatensatzes (X) von dieser Punkt- 
menge bestimmt wird, soweit diese in dem/den Gultigkeitsbereich(en) der voigegebenen Eigenschaft(en) liegt 

13. Neuronales Netz nach einem der Anspruche 9 bis 12, dadurch gekennzeichnet, daB ein Gtiltigkeitsb^eich einer 
vorbekannten Eigenschaft der Klassifizierung, wie z. B. einer Monotonieeigenschaft, fiir eine Komponente (xO ei- 
nes Eingabedatensatzes (X) die positive oder negative i-Richtung der Komponente {xO des Eingabedatensatzes (X) 
ist 

14. Neur<Miales Netz nach einem der vorhergehenden Anspruche, dadurch gekennzeichnet, daB es dazu ausgelegt 
ist, zur Ahnlichkeitsbestimmung zwischen einem Eingabedatensatz (X) und jedem der Referenzdatensatze (W) den 
jeweihgen Abstand zwischen dem Eingabedalensatz (X) und jedem der Referenzdatensatze (W) bei einer Monoto- 
nieeigenschaft einer Komponente (xO der Eingabedatens^tze (X) in positiver i-Richtung gemaS 



bestimmt wird, wobei X = (xi, . . xj und W = (wi, . . Wn). 

15. Neuronales Netz nach einem der vorhergehenden Anspruche, dadurch gekennzeichnet, daB es dazu ausgelegt 
ist, zur Ahnlichkeitsbestimmung zwischen einem Eingabedatensatz (X) und jedem der Referenzdatensatze (W) den 
jeweiligen Abstand zwischen dem Eingabedatensatz (X) und jedem der Referenzdatensatze (W) bei einer Monoto- 
nieeigenschaft einer Komponente (Xi) der Hingabedatensatze (X) in negativer i-Richtung gemaB 



bestinunt wird, wobei X = (xi, . . ., Xn) und W = (wi, . . ., Wn). 

16. Neuronales Netz nach einem der voiiiezgehenden Anspruche, dadurch gekennzeichnet, daB die Neuronen der 
Schicht akti ver Neuronen jeweils eine Prozessoreinheit und einen lokalen Speicher zur Speicherung eines Referenz- 
dalensalzes (W) enlhallen, daB die Schicht durch eine Parallelanordnung der Prozessoreinheilen mit ihren zugeoid- 
nctcn Spcichcm gcbildct ist, und daB jcdc Prozessoreinheit zur Durchfuhrung des X^rglcichs des cingcgcbcncn Ein- 
gabedatensatzes (X) mit dem Referenzdatensatz (W) in dem zugehorigen Speicher ausgelegt ist. 

17. Neuronales Netz nach einem der vorheigehenden Anspruche, dadurch gekennzeichnet, daB die Schicht aktiver 
Neuronen zum parallelen Vergleich eines Eingabedatensatzes (X) mit alien Referenzdatensatzen (W) ausgelegt ist. 

18. Neuronales Netz nach cincm der Anspriichc 1 bis 15, dadurch gekennzeichnet, daB die Neuronen der Schicht 
aktiver Neuronen zumindest durch eine zentrale Verarbeitungseinheit und einen zentralen Speicher zum Speichem 
aDer Referenzdatensatzes (W) gebildet sind, und daB die zenu^e Verarbeitungseinheit zum Durchfuhren des Ver- 
gleichs des eingegebenen Eingabedatensatzes (X) mit jedem Referenzdatensatz (W) in dem zentralen Speicher in 
paralleler oder bezuglich jedes Referenzdatensatzes (W) unmittelbar serieller oderbezuglich jeder Komponente (xO 
des Eingabedatensatzes (X) unmittelbar serieller Wsise ausgelegt ist 

19. Neuronales Netz nach einem der vorhergehenden Anspruche, dadurch gdcennzeichnet, dafi die Eingabedaten- 
satze (X) durch Eingabevdctoren und die Referenzdatensatze (W) durch Referenzvektoren gebildet sind. 

20. Verfahren zur Klassifizierung von Eingabedatensatzen mit einem neuronalen Netz zur lemenden \fektorquand- 
sierung, wobei Eingabedatensatze uber Hngabeeinrichtungen einer Ahnlichkeitsbestiinmung bezuglich Referenz- 
datensatzen unterzogen werd«i, die jeweils einem Neuron einer Schicht aktiver Neuronen zugeoninet sind, und zur 
Klassifizierung durch Vergleichen eines Eingabedatensatzes mit alien Referenzdatensatzen dasjenige Neuron dei 
Schicht aktiver Neuronen, dessen Referenzdatensatz dem Eingabedatensatz am ahnlichstra ist, zu einer Ausgabe an 
Ausaabeeinrichmngen veranlaBt wird, dadurch gekennzeichnet daB bei der Ahnlichkeitsbestimmung zwischra ei- 
nem Eingabedatensatz (X) und den Referenzdatensatzen (W) bei zumindest einer seiner Komponenten (xO dne vor- 
bekannte Eigenschaft der Klassifizierung, wie z. B. Monotonie in wenigstens einer Richtung oder Symmetrie, zu 
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Grunde gelegt wird. 

21. Vcrfahrcn nach Anspruch 20, dadurch gckcnnzcichncu daB jcwcils cine Komponcntc (X|) cincs Eingabcdatcn- 
satzes (X) einem Eingabeneuron zugeordnet wird, das Ibil einer Eingabeneuronenschicht ist, die in den Hingabe- 
einrichtungen enthalten ist, wobei die Eingabeneuronen jeweils vollstandig mil jedem Neuron der Schicht aktiver 
Neuronen verbunden sind. 5 

22. Vcrfahrcn nach Anspruch 20 odcr 21, dadurch gckcnnzcichnct, daB jcdcm Eingabeneuron dcr Eingabeneuro- 
nenschicht eine Komponente (xj) eines Eingabedatensatzes (X) zugeordnet wird. 

23. Verfahren nach einem der Anspriiche 20 bis 22, dadurch gekennzeichnet, daB die Neuronen einer Schicht akti- 
ver Neuronen in Ausgabeklassen eingeleilt werden. 

24. Verfahren nach Anspruch 23, dadurch gekennzeichnet, dafi jeder Ausgabeklasse wenigstens ein Neuron und lO 
insbesondeie eine Vielzahl von Neuronen einer Schicht aktiver Neuronen zugeordnet wird. 

25. Verfahren nach einem der Ansprtiche 20 bis 24, dadurch gekennzeichnet, daB die Ausgabeeinrichtungen eine 
Ausgabeneuronenschicht enthalten, deren Ausgabeneuronen jeweils eine Ausgabeklasse reprasentieren und in Ab- 
hangigkeit von dem ermittelten Neuron der vorheigehenden Schicht aktiver Neuronen aktiviert werden. 

26. Verfahren nach einem der Anspriiche 23 bis 25, dadurch gekennzeichnet, daB die vorfoekannte Eigenschaft der 15 
Klassifizierung, wie z. B. Monotonie in wenigstens einer Richtung oder Symmetrie, fUr zumindest eine Ausgabe- 
klasse verwendet wird. 

27. Verfahren nach einem der Anspriiche 20 bis 26, dadurch gekennzeichnet, daB zur Ahnlichkeitsbestinunung 
zwischen einem Eingabedatensatz (X) und jedem der Referenzdatensatze (W) zu denjenigen Referenzdatensatzen 
(W), deren Klasse wenigstens eine vorgegebene Eigenschaft. wie z. B. eine Monotonieeigenschaft, besitzt, eine 20 
Punktmenge gebildet wird, die aus einem Referenzdatensatz und denjenigen Datens^tzen gebildet ist, die von dem 
Referenzdatensatz aus in der/den Richtung(en) der einen oder mehreren voigegebenen Eigenschaft(en), wie z. B. 
Monotonieeigenschaft(en), liegen, und anhand deijenigen Punktmenge, von d^ der Eingabedatensatz (X) den ge- 
ringsten Abstand, insbesondere den geringsten euklidischen Abstand, aufweist, der zugeh5rige Referenzdatensatz 
(W) als deijenige festgelegt wird, der dem Eingabedatensatz (X) am ahnlichsten ist. 25 

28. Verfahren nach einem der Anspriiche 20 bis 27, dadurch gekennzeichnet, daB zur Klassifizierung eines Einga- 
bedatensatzes (X) bei zumindest einer seiner Komponenten (xO wenigstens ein Giiltigkeitsbereich einer vorbekann- 
ten Eigenschaft der Klassifizierung, wie z. B. einer Monotonieeigenschaft, bestimmt ist. 

29. Verfahren nach Anspruch 28, dadurch gekennzeichnet, daB bei der Ahnlichkeitsbestinunung zwischen einem 
Eingabedatensatz (X) und jedem der Referenzdatensatze (W) die der voigegebenen Eigenschaft der Klassifizierung 30 
entsprechende Komponente (Xi) des Eingabedatensatzes (X) unberucksichtigt bleibt, wenn der Eingabedatensatz 
(X) in dem entsprechenden Giiltigkeitsbereich der vorbel^nnten Eigenschaft der Klassifizierung iiegt und gegen- 
iiber dem Ref^mzdatensatz (W) eine dieser Eigenschaft entsprechende Lage hat. 

30. Verfahren nach einem der Anspriiche 20 bis 29, dadurch gekennzeichnet, daB bei der Ahnlichkeitsbestimmung 
zwischen einem Hingabedatensatz (X) und jedem der Referenzdaten.satze (W) derjenige Referenzdatensatz (W) be- 35 
stimmt wird, der den geringsten Abstand, insbesondo'e den geringsten euklidischen Abstand von dem Eingabeda- 
tensatz (X) aufweist. 

31. Verfahren nach Anspruch 28 oder 29 jeweils in Verbindung mit Anspruch 30, dadurch gekennzeichnet, daB der 
Ahstand zwischen einem Ringabedatensat7. (X) und jedem der Referenzdatensatze (W) bestimmt wird, indem zu al- 
ien Referenzdatensatzen (W), welche zu Klassen mit ein^- oder mehreren voigegebenen Eigenschaften, wie z. B. 40 
Monotonieeigenschaft(en), gehoren, ausgehend von jedem dieser Referenzdatensatze (W) in Richtung der einen 
od&r mehreren voigegebenen Eigenschaft(en), wie z. B. Monotonieeigenschaft(en), eine zugehorige Punktmenge 
gebildet wird und dann der Abstand des Eingabedatensatzes (X) von dieser Punktmenge bestimmt wird, soweit 
diese in dem/den Gtiltigkeitsbereich(en) der voigegebenen Eigenschaft(en) liegt. 

32. Verfahren nach einem der Anspriiche 28 bis 31, dadurch gekennzeichnet, daB ein Gultigkeitsbereich einer vor- 45 
bekannten Eigenschaft der Klassifizierung, wie z. B. einer Monotonieeigenschaft, fiir eine Komponente (xO eines 
Eingabedatensatzes (X) die positive oder negative i-Richtung der Komponente (xi) des Eingabedatensatzes (X) ist. 

33. Verfahren nach einem der Anspruche 20 bis 32, dadurch gekennzeichnet, dafi es dazu ausgelegt ist, den Ab- 
stand zwischen cincm Eingabedatensatz (X) und den Referenzdatensatzen (W) bei cincr Monotonieeigenschaft ei- 
ner Komponente (xO der Eingabedatensatze (X) in positiver i-Richtung gem^ 50 



d(X,W) = 



||X-W|| = ^ijxv-wv)2 falls Xi < Wi 



S (xv— Wv)^ falls x^ > Wi 

v=l 



55 



bestinunt wird, wobei X = (Xi, . . ., Xn) und W = (wj, . . ., Wn). 60 
34. Verfahren nach einem der Anspriiche 20 bis 33, dadurch gekennzeichnet, daB es. dazu ausgelegt ist, den Ab- 
stand zwischen den Eingabedatens^tzen (X) und den Referenzdatensatzen (W) bei einer Monotonieeigenschaft ei- 
ner Komponente (xO der Eingabedatensatze (X) in negative i-Richtung gemaS 



65 
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d(X,W) = ^ 




falls 



falls 



X. > Wi 



< Wi 



bestimmt wird, wobei X = (xi, . . Xn) und W = (wi, . . w^). 

35. Verfahren nach einem der Anspruche 20 bis 34, dadurch gekennzeichnet, daB das Vergleichen eines eingegebe- 
nen Eingabedatensatzes (X) mit aUen Referenzdatensatzen (W) parallel in den Neuronen der Schicht aktiver Neu- 
ronen durchgefuhrt wird, die jeweils eine Prozessoreinheit und einen lokalen Speicher zur Speichening eines Refe- 
renzdatensatzes (W) enthalten und in der Schicht aktiver Neuronen parallel angeordnet sind. 

36. Verfahren nach einem der Anspruche 20 bis 35, dadurch gekennzeichnet, daB ein Eingabedatensatz (X) parallel 
mil aUen Referenzdatensatzen (W) veigUchen wird, die den Neuronen der Schicht aktiver Neuronen zugeordnet 



37, Verfahren nach einem der Anspruche 20 bis 34, dadurch gekennzeichnet, daB das Vergleichen des eingegebe- 
nen Eingabedatensatzes (X) mit jedem Referenzdatensatz (W) in paralleler oder bezugUch jedes Referenzdatensat- 
zes (W) unmittelbar serieUer oder bezuglich jeder Komponente (xi) des Eingabedatensatzes (X) unmittelbar seriel- 
ler Weise in einer zentralen Verarbeitungseinheit durchgefuhrt wird, wobei die Neuronen der Schicht aktiver Neu- 
ronen zumindest durch die zenU-ale Verarbeitungseinheit und einen zentralen Speicher zum Speichem aller Refe- 
renzdatensatzes (W) gebildet sind. 

38. Verfahren nach einem der Anspruche 20 bis 37, dadurch gekennzeichnet, dafi die EingabedalensStze (X) durch 
Eingabevektoren und die ReferenzdatensStze (W) dutch Referenzvektoren gebildet sind. 
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